Ready Cohorts: Bounding GPU Opportunity and Avoiding Host Round Trips in LLM-Agent Control
Ready Cohorts：界定 LLM-Agent 控制的 GPU 机会并消除主机往返
🧭 LLM Agent 控制面 GPU 调度与驻留优化
Independent Researcher
给出 ready-cohort 边界量化 agent 控制面 GPU 可调度机会，并证明设备端决策比主机往返快 1.19–2.39 倍
📌 工作参考价值（4 点）
- 在高并发 agent 控制循环（如多 session 的商品搜索/推荐路由、预算/策略检查）不要每个 route/state 更新都回 host 再下发；把二元决策（是否继续调用、选择哪个工具）留在 GPU 上，按论文结果可获得 1.19–2.39x 的端到端加速，且与 host oracle 完全一致，适合作为工程改造项。
- 用 ready-cohort 框架先离线评估 GPU 调度收益：固定窗口只拿到 F=30.19% 的控制机会，精确 DP 打包可到 P*=43.00%，上界 U=45.85%，说明固定窗口漏掉 81.83% 的机会。部署前可用 offline replay 估算 batch size K 和 deadline，避免拍脑袋设置窗口。
- 在推荐/广告 agent 的 trace 回放中，把 outcome-derived route key 当作 conditioning proxy，不要直接视作可执行身份；实际系统需要单独验证批处理结果与 host oracle 一致。
- 固定嵌套设备图若不能减少 host 决策，反而更慢；不要为了 GPU 化而 GPU 化，先确认控制路径是否真正消除了主机往返。